【hf | 您所在的位置:网站首页 › HuggingFace下载模型默认保存在~cachehuggingface下面 › 【hf |
前言
随着大模型的发展,越来越多人员参与到大模型炼丹和实践中,但HuggingFace在国内无法方便访问,带来不少问题。 如果你可以翻墙等方式访问HuggingFace,那优先还是推荐 HuggingFace Hub。当前,前提是网络质量较好,能够满足需求。 小编这里推荐四种方法助你快速实现模型及数据集的下载: 方法一:网页下载在本站搜索,并在模型主页的Files and Version中下载文件。 方法二:huggingface-clihuggingface-cli 是 Hugging Face 官方提供的命令行工具,自带完善的下载功能。 1. 安装依赖 pip install -U huggingface_hubCopy2. 设置环境变量 Linux export HF_ENDPOINT=https://hf-mirror.comCopyWindows Powershell $env:HF_ENDPOINT = "https://hf-mirror.com"Copy建议将上面这一行写入 ~/.bashrc。 3.1 下载模型 huggingface-cli download --resume-download gpt2 --local-dir gpt2Copy3.2 下载数据集 huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitextCopy可以添加 --local-dir-use-symlinks False 参数禁用文件软链接,这样下载路径下所见即所得,详细解释请见上面提到的教程。 方法三:使用 hfdhfd 是本站开发的 huggingface 专用下载工具,基于成熟工具 git+aria2,可以做到稳定下载不断线。 1. 下载hfd wget https://hf-mirror.com/hfd/hfd.sh chmod a+x hfd.shCopy2. 设置环境变量 Linux export HF_ENDPOINT=https://hf-mirror.comCopyWindows Powershell $env:HF_ENDPOINT = "https://hf-mirror.com"Copy3.1 下载模型 ./hfd.sh gpt2 --tool aria2c -x 4Copy3.2 下载数据集 ./hfd.sh wikitext --dataset --tool aria2c -x 4Copy 方法四:使用环境变量(非侵入式)非侵入式,能解决大部分情况。huggingface 工具链会获取HF_ENDPOINT环境变量来确定下载文件所用的网址,所以可以使用通过设置变量来解决。 HF_ENDPOINT=https://hf-mirror.com python your_script.pyCopy不过有些数据集有内置的下载脚本,那就需要手动改一下脚本内的地址来实现了。 小节huggingface 上的模型与数据集的下载方式有很多种,这里小编只为推荐了hf-mirror镜像站的使用方式,后面还有其他其他几种方式,小编会陆续放出,同学们可以根据自己的实际情况自行选择。 小编是一名热爱人工智能的专栏作者,致力于分享人工智能领域的最新知识、技术和趋势。这里,你将能够了解到人工智能的最新应用和创新,探讨人工智能对未来社会的影响,以及探索人工智能背后的科学原理和技术实现。欢迎大家点赞,评论,收藏,让我们一起探索人工智能的奥秘,共同见证科技的进步! |
CopyRight 2018-2019 实验室设备网 版权所有 |